大规模预训练的语言模型的出现为自然语言处理的最新进展做出了巨大贡献。许多最先进的语言模型首先在大型文本语料库上进行培训，然后在下游任务上进行微调。尽管它最近获得了成功和广泛的采用，但对预训练的语言模型的微调通常会遭受过度拟合，这会导致由于模型的复杂性极高的复杂性和下游任务的有限培训样本而导致的普遍性差。为了解决这个问题，我们提出了一个新颖有效的微调框架，称为Layerwise噪声稳定性正则化（LNSR）。具体而言，我们建议注入标准的高斯噪声或势内噪声，并将微调模型的隐藏表示形式定向。我们首先提供理论分析以支持我们方法的功效。然后，我们证明了所提出的方法的优势，而不是其他最先进的算法，包括L2-SP，MixOut和Smart。尽管这些先前的作品仅验证其方法对相对简单的文本分类任务的有效性，但我们还验证了方法对问题答案任务的有效性，而目标问题更加困难，并且可以使用更多的培训示例。此外，广泛的实验结果表明，所提出的算法不仅可以提高语言模型的内域性能，而且还可以改善域外数据的域概括性能。

我们可以根据流行歌曲的音频自动推导钢琴伴奏的分数吗？这是我们在本文中解决的音频到符号排列问题。一个良好的安排模型不仅要考虑音频内容，还要先前了解钢琴组成（使得生成“听起来像”音频且同时保持音乐性。）到目前为止，我们贡献了跨模型表示学习模型，其中1）从音频提取和弦和旋律信息，2）从音频和损坏的地面真理安排中了解纹理表示。我们进一步介绍了定制的培训策略，逐渐将纹理信息的来源从损坏的分数转移到音频。最后，基于分数的纹理后部减少到标准的正态分布，并且只需要音频进行推断。实验表明，我们的模型捕获了主要音频信息和优于代质量的基线。

While deep learning succeeds in a wide range of tasks, it highly depends on the massive collection of annotated data which is expensive and time-consuming. To lower the cost of data annotation, active learning has been proposed to interactively query an oracle to annotate a small proportion of informative samples in an unlabeled dataset. Inspired by the fact that the samples with higher loss are usually more informative to the model than the samples with lower loss, in this paper we present a novel deep active learning approach that queries the oracle for data annotation when the unlabeled sample is believed to incorporate high loss. The core of our approach is a measurement Temporal Output Discrepancy (TOD) that estimates the sample loss by evaluating the discrepancy of outputs given by models at different optimization steps. Our theoretical investigation shows that TOD lower-bounds the accumulated sample loss thus it can be used to select informative unlabeled samples. On basis of TOD, we further develop an effective unlabeled data sampling strategy as well as an unsupervised learning criterion for active learning. Due to the simplicity of TOD, our methods are efficient, flexible, and task-agnostic. Extensive experimental results demonstrate that our approach achieves superior performances than the state-of-the-art active learning methods on image classification and semantic segmentation tasks. In addition, we show that TOD can be utilized to select the best model of potentially the highest testing accuracy from a pool of candidate models.

While mislabeled or ambiguously-labeled samples in the training set could negatively affect the performance of deep models, diagnosing the dataset and identifying mislabeled samples helps to improve the generalization power. Training dynamics, i.e., the traces left by iterations of optimization algorithms, have recently been proved to be effective to localize mislabeled samples with hand-crafted features. In this paper, beyond manually designed features, we introduce a novel learning-based solution, leveraging a noise detector, instanced by an LSTM network, which learns to predict whether a sample was mislabeled using the raw training dynamics as input. Specifically, the proposed method trains the noise detector in a supervised manner using the dataset with synthesized label noises and can adapt to various datasets (either naturally or synthesized label-noised) without retraining. We conduct extensive experiments to evaluate the proposed method. We train the noise detector based on the synthesized label-noised CIFAR dataset and test such noise detector on Tiny ImageNet, CUB-200, Caltech-256, WebVision and Clothing1M. Results show that the proposed method precisely detects mislabeled samples on various datasets without further adaptation, and outperforms state-of-the-art methods. Besides, more experiments demonstrate that the mislabel identification can guide a label correction, namely data debugging, providing orthogonal improvements of algorithm-centric state-of-the-art techniques from the data aspect.

风能供应的可变性可能会给将风力发电纳入网格系统带来重大挑战。因此，风力预测（WPF）已被广泛认为是风能整合和操作中最关键的问题之一。在过去的几十年中，关于风能预测问题的研究爆炸了。然而，如何很好地处理WPF问题仍然具有挑战性，因为始终要求高预测准确性以确保电网稳定性和供应的安全性。我们提出了独特的空间动态风能预测数据集：SDWPF，其中包括风力涡轮机的空间分布以及动态上下文因素。鉴于，大多数现有数据集只有少量的风力涡轮机，而无需以细粒度的时间尺度了解风力涡轮机的位置和上下文信息。相比之下，SDWPF提供了半年多的风力涡轮机的风能数据，其相对位置和内部地位。我们使用此数据集启动BAIDU KDD杯2022来检查当前WPF解决方案的极限。该数据集在https://aistudio.baidu.com/aistudio/competition/detail/152/0/datasets上发布。

尽管深度学习已被广​​泛用于视频分析，例如视频分类和动作检测，但与体育视频的快速移动主题进行密集的动作检测仍然具有挑战性。在这项工作中，我们发布了另一个体育视频数据集$ \ textbf {p $^2 $ a} $ for $ \ usewessline {p} $ \ in $ \ usepline {p} $ ong- $ \ $ \ usepline {a} $ ction ction ction检测，由2,721个视频片段组成，这些视频片段从世界乒乓球锦标赛和奥林匹克运动会的专业乒乓球比赛的广播视频中收集。我们与一批乒乓球专业人士和裁判员合作，以获取出现在数据集中的每个乒乓球动作，并提出两组动作检测问题 - 行动定位和行动识别。我们使用$ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ fextbf {p $^2 $^2 $^2 $ a^2 $^2 $ a^2 $^2 $ a^2 $ a^2 $^$^2 $ a^2 $^2 $ a^2 $^2 $ a^2 $^2 $ a^2 $^2 $^2 $ a^2 $^2 $ a^2 $^2 $^2 $^2 $^2 $^2 $^2 $ a在各种设置下，这两个问题的$} $。这些模型只能在AR-AN曲线下实现48％的面积，以进行本地化，而识别次数为82％，因为Ping-Pong的动作密集具有快速移动的主题，但广播视频仅为25 fps。结果证实，$ \ textbf {p $^2 $ a} $仍然是一项具有挑战性的任务，可以用作视频中动作检测的基准。

联合学习（FL）框架使Edge客户能够协作学习共享的推理模型，同时保留对客户的培训数据的隐私。最近，已经采取了许多启发式方法来概括集中化的自适应优化方法，例如SGDM，Adam，Adagrad等，以提高收敛性和准确性的联合设置。但是，关于在联合设置中的位置以及如何设计和利用自适应优化方法的理论原理仍然很少。这项工作旨在从普通微分方程（ODE）的动力学的角度开发新的自适应优化方法，以开发FL的新型自适应优化方法。首先，建立了一个分析框架，以在联合优化方法和相应集中优化器的ODES分解之间建立连接。其次，基于这个分析框架，开发了一种动量解耦自适应优化方法FedDA，以充分利用每种本地迭代的全球动量并加速训练收敛。最后但并非最不重要的一点是，在训练过程结束时，全部批处理梯度用于模仿集中式优化，以确保收敛并克服由自适应优化方法引起的可能的不一致。

尽管更多的层和更多的参数通常提高了模型的准确性，但是这样的大型模型通常具有较高的计算复杂性，并且需要大记忆，这超过了小型设备进行推理的容量，并且会产生长时间的训练时间。此外，即使在高性能服务器中，也很难负担长期训练时间和大型模型的推理时间。作为将大型深层模型（教师模型）压缩为紧凑模型（学生模型）的有效方法，知识蒸馏是一种与大型模型打交道的有前途的方法。现有的知识蒸馏方法无法利用可用的弹性计算资源，并对应于低效率。在本文中，我们提出了一个用于知识蒸馏的弹性深度学习框架，即EDL-DIST。 EDL-DIST的优势是三倍。首先，推论和训练过程是分开的。其次，可以利用弹性可用的计算资源来提高效率。第三，支持训练和推理过程的故障耐受性。我们进行了广泛的实验，以表明EDL-DIST的吞吐量比基线方法（在线知识蒸馏）快3.125倍，而精度相似或更高。

虽然微调预训练的网络已成为训练图像分割模型的流行方式，但这种用于图像分割的骨干网络经常使用图像分类源数据集（例如ImageNet）进行预训练。尽管图像分类数据集可以为骨干网络提供丰富的视觉特征和歧视能力，但它们无法以端到端的方式完全预训练目标模型（即骨干+分割模块）。由于分类数据集中缺乏分割标签，因此在微调过程中进行分割模块在微调过程中随机初始化。在我们的工作中，我们提出了一种利用伪语义分割标签（PSSL）的方法，以启用基于分类数据集的图像分割模型的端到端预训练。 PSSL的启发是受到观察的启发，即通过CAM，Smoothgrad和Lime等解释算法获得的分类模型的解释结果将接近视觉对象的像素簇。具体而言，通过解释分类结果并汇总了从多个分类器查询的解释集合来降低单个模型引起的偏差，从而为每个图像获得PSSL。使用PSSL，对于ImageNet的每个图像，提出的方法都利用加权分割学习程序来预先培训分割网络。实验结果表明，在Imagenet伴随PSSL作为源数据集的情况下，提出的端到端预训练策略成功地增强了各种分割模型的性能，即PSPNET-RESNET50，DEEPLABV3-RESNET50和OCRNET-HRNET-HRNETENET-HRNETENET-HRNETENET-HRNETENET-HRNETW18，和在许多细分任务上，例如CAMVID，VOC-A，VOC-C，ADE20K和CityScapes，并有重大改进。源代码可在https://github.com/paddlepaddle/paddleseg上使用。

基于池的主动学习（AL）通过依次从大型未标记数据池中选择信息的未标记样本并从Oracle/Ontoter中查询标签，从而取得了巨大成功。但是，现有的AL采样策略可能在分布外（OOD）数据方案中无法很好地工作，其中未标记的数据池包含一些不属于目标任务类别的数据示例。在OOD数据情景下实现良好的AL性能是一项具有挑战性的任务，因为Al采样策略与OOD样本检测之间的自然冲突。 Al选择很难由当前基本分类器进行分类的数据（例如，预测类概率具有较高熵的样品），而OOD样品往往具有比分布更均匀的预测类概率（即高熵）（即高熵）（ID ） 数据。在本文中，我们提出了一种采样方案，即用于主动学习的蒙特 - 卡洛帕累托优化（POAL），该方案从未标记的数据库中选择了具有固定批次大小的未标记样品的最佳子集。我们将AL采样任务施加为多目标优化问题，因此我们基于两个冲突的目标利用Pareto优化：（1）正常的AL数据采样方案（例如，最大熵）和（2）作为OOD样本。实验结果表明其对经典机器学习（ML）和深度学习（DL）任务的有效性。